De eerste vermelding van het kasteel, toen nog een hoeve, dateert van 1625. Ze wordt in de loop der tijd bewoond door heel wat beroemde personen. Een ervan is Adriaen Brouwerts, drossaard, baljuwschout, die in 1633 door de Infante van Spanje belast werd met een onderhandelingsopdracht met Prins Mauritius van Oranje.
In 1738 bezit de familie Ulens het goed Ter Dilft. Zij noemen het kasteel “het Hoff van der Diest”. Rond 1830 koopt baron de Caters het kasteel. Baron de Caters voert heel wat verfraaiingwerken uit en maakt van het domein een echt kasteelpark met hoeves en een hofgracht. Na zijn dood komt het domein in handen van de families du Bois de Vroylande en de Borrekens. Baron Victor de Borrekens breekt in het begin van de twintigste eeuw het oude kasteel af en bouwt er een volledig nieuw aan de rand van de eeuwenoude vijver. Na de dood van baron de Borrekens komt het kasteel in handen van Dr. Oscar Declercq, die er een centrum voor readaptatie en reuma in onderbrengt onder de naam “Kliniek Ploeghalle”.
In 1978 koopt het gemeentebestuur het ganse domein en restaureert het kasteel en het koetshuis grondig zodat de gemeentediensten er kunnen in gehuisvest worden. Het park wordt voor het publiek opengesteld. Het kasteel en het park vormen een mooie aanwinst voor het gemeentelijk patrimonium.